एक सिर्फ 10 लोगों की स्टार्टअप कंपनी Nous Research ने अपने AI मॉडल Hermes3 के साथ टेक दिग्गज Meta को चुनौती दी है। Hermes3 Llama3.1 मॉडल पर माइक्रो-ट्यून किया गया है, जो मजबूत प्रदर्शन, VRAM और डिस्क आवश्यकताओं का अनुकूलन करता है, और एकल नोड पर चलता है। यह मॉडल बातचीत की क्षमता, पाठ की गुणवत्ता की समझ और समेकित बुद्धिमान क्षमताओं में उत्कृष्टता प्रदर्शित करता है, जो पारंपरिक भाषा मॉडलिंग से परे एक उच्च स्तरीय क्षमता को दिखाता है। Nous Research ओपन-सोर्स पर ध्यान केंद्रित करती है।

यह लेख कृत्रिम बुद्धिमत्ता के क्षेत्र में, विशेष रूप से बड़े भाषा मॉडल (LLMs) के संचालन और भंडारण की चुनौतियों की जांच करता है। AI क्षमताओं में वृद्धि के साथ, जैसे कि Bloom मॉडल का उभार, आवश्यक गणना संसाधनों और भंडारण स्थान में काफी वृद्धि हुई है, जिसके परिणामस्वरूप उच्च लागत और व्यापकता की समस्या उत्पन्न हुई है। इस समस्या को हल करने के लिए, शोधकर्ताओं ने 'मात्रात्मककरण' तकनीक को पेश किया है, जो मॉडल के वजन और सक्रियण की सटीकता को कम करके मॉडल के आकार को छोटा करने और चलाने की गति को तेज करने में मदद करता है, साथ ही संभावित सटीकता के नुकसान को नियंत्रित करता है। लेख में बीजिंग एरोस्पेस यूनिवर्सिटी और सेंसटाइम टेक्नोलॉजी द्वारा सह-विकसित LLMC टूलकिट पर विशेष ध्यान दिया गया है।

Meta कंपनी ने नवीनतम AI मॉडल Llama3.1 के प्रशिक्षण के लिए 16,384 GPU का उपयोग किया, जिसने AI तकनीक की आश्चर्यजनक विकास गति को प्रदर्शित किया। हालांकि, इस प्रक्रिया में औसतन हर 3 घंटे में एक बार समस्या उत्पन्न होती है, कुल 419 समस्याएं आईं, जिनमें से लगभग आधे H100 GPU और उनके HBM3 मेमोरी से संबंधित हैं। यह डेटा दर्शाता है कि सुपरकंप्यूटिंग सिस्टम प्रदर्शन में सुधार के प्रयास में विश्वसनीयता की चुनौतियों का सामना करते हैं। Llama3.1 प्रशिक्षण समूह की जटिलता एक छोटे शहर के तंत्रिका नेटवर्क के समान है, जिससे बार-बार समस्याएं उत्पन्न होती हैं। Meta टीम ने रणनीतियों को अपनाया, जैसे कि कमी।

Meta के वैज्ञानिक Thomas Scialom ने Llama3.1 के विकास के रहस्यों का खुलासा किया, जिसका 405B का पैरामीटर आकार GPT-4 का मुकाबला करने के लिए है। आर्किटेक्चर के बजाय प्रशिक्षण के टोकनों की संख्या बढ़ाकर, Llama3.1 ने मॉडल के आकार और प्रशिक्षण डेटा की कुल मात्रा के बीच का संतुलन हासिल किया, जिससे ज्ञान की गहराई और चौड़ाई में एक छलांग मिली। डेटा चयन में, Scialom सार्वजनिक इंटरनेट पाठ के बजाय सिंथेटिक डेटा को प्राथमिकता देते हैं। Llama3.1 के मूल्यांकन और सुधार के लिए पुरस्कार मॉडल और विविधता के मानक का उपयोग किया जाता है।

अमेज़न क्लाउड टेक्नोलॉजी ने अपने Amazon Bedrock प्लेटफॉर्म पर Llama3.1 मॉडल को लॉन्च किया है, जो Meta द्वारा विकसित एक उन्नत AI मॉडल श्रृंखला है। इसमें 8B, 70B और 405B के तीन प्रकार के पैरामीटर शामिल हैं, जो उत्कृष्ट प्रदर्शन दिखाते हैं, और इसमें अंग्रेजी, जर्मन सहित 8 भाषाओं के कई संवाद उपयोग मामलों का समर्थन करते हैं। मॉडल में Llama3.1405B शामिल है, जो व्यापारिक अनुप्रयोगों और शोध के लिए उपयुक्त है, सामान्य ज्ञान, लंबी पाठ उत्पत्ति आदि में विशेषज्ञता रखता है; Llama3.170B विषय सामग्री रचनात्मकता, संवादात्मक AI आदि के क्षेत्रों के लिए उपयुक्त है।

हाल ही में Cloudflare ने घोषणा की कि, Meta कंपनी के पहले भागीदारों में से एक के रूप में, उन्होंने Workers AI प्लेटफ़ॉर्म पर Meta द्वारा जारी किया गया नवीनतम Llama3.18B मॉडल लॉन्च किया है। यह कदम डेवलपर्स को इस नवीनतम AI उपकरण का उपयोग करने की अनुमति देता है, जो कि मॉडल की घोषणा के पहले ही दिन से संभव है।

मेटा कंपनी के CEO मार्क ज़करबर्ग ने हाल ही में Llama3.1 के आधिकारिक विमोचन की घोषणा की है, और कहा है कि यह खुला स्रोत AI के क्षेत्र में एक महत्वपूर्ण मील का पत्थर हो सकता है। मेटा ने इस बार तीन विभिन्न आकार के Llama3.1 मॉडल पेश किए हैं, जिनमें सबसे ध्यान आकर्षित करने वाला 4050 अरब पैरामीटर वाला बड़ा मॉडल है। ज़करबर्ग ने इसे वर्तमान में सबसे उन्नत खुला स्रोत मॉडल बताया है, जो कुछ क्षेत्रों में प्रमुख बंद स्रोत मॉडलों के साथ प्रतिस्पर्धा कर सकता है।

हाल ही में, 4050 अरब पेरामीटर वाला ओपन-सोर्स बड़े भाषा मॉडल LLama3.1 Reddit पर लीक हुआ है, जिसने व्यापक ध्यान आकर्षित किया है। इसे वर्तमान में GPT-4o के सबसे करीबी ओपन-सोर्स उत्पाद के रूप में देखा जा रहा है, और कुछ प्रदर्शन में GPT-4o को भी पीछे छोड़ दिया है। मॉडल को Meta (पूर्व में फेसबुक) द्वारा पेश किया गया है, जिसमें बेस और 70B संस्करण के बेंचमार्क परिणाम शामिल हैं, जो कई प्रदर्शन परीक्षणों में GPT-4o को पार कर गए हैं। LLama3.1 में बहु-भाषा समर्थन क्षमता और व्यापक प्रशिक्षण डेटा सेट (15T टोकन से अधिक) है।